Unlocking Lossless Speedups in LLMs via Discrete Diffusion
通过离散扩散实现 LLM 无损加速：扩散增强自回归模型
🧭 扩散增强 LLM 无损并行解码加速 ★ 深度解读
Institute of Foundation Models · University of Illinois Urbana-Champaign · Cornell Tech · Harvard University · Cerebras Systems
用 LoRA 扩散权重并行 draft + AR rejection 实现无损加速，8B Uno 在吞吐与质量上超过主流 d-LLM 与 speculative 方法
📌 工作参考价值（4 点）
- 可无损加速现有 LLM serving：为线上 AR 模型（如 Qwen/DeepSeek）添加 rank-128 LoRA diffusion adapter，训练只需几 B tokens（公开数据即可），不碰原始权重；与 EAGLE/DFlash 相比共享 KV cache 省显存，高并发 batch 下仍有 1.5× 以上吞吐，适合电商搜索/广告 agent 高并发调用。
- 借鉴 gated LoRA + block-causal attention 训练法：单次前向同时算 teacher/student logits，训练 context length 约 2×L，不随 block size 增大；L_TV loss 比 DCD 更直接地优化 speculative 接受长度，实际可优先选 α=0, β=1 或 L_TV 主导。
- 评估指标要区分 system throughput vs per-request throughput：batch=1 容易高估加速，业务中 agentic 多请求并发和 RL rollout 更应看重最大 batch 吞吐；可采用固定 1K input/8K output 的标准化吞吐测试。
- RL 训练加速：在 SFT 后冻结 diffusion adapter，RL 阶段只更新 AR 权重即可保留约 94% TPF，rollout 加速 40%；推荐/搜索模型若做大规模 RL 微调，可复用此方案缩短训练时间。